Incremental Pooled LLM Evaluation for Cost-Effective Retrieval Model Selection
增量池化 LLM 评估：低成本检索模型选择
🧭 检索模型评估 · LLM 评判
JPMorganChase
增量池化 LLM 评估复用已有相关性判断，仅对新系统新增文档做 LLM 评判，大幅降低 RAG 检索模型选型成本
📌 工作参考价值（4 点）
- 在电商搜索/推荐召回模型选型中，用 LLM 做 pooled relevance judgment：维护一个已标注文档池，新召回模型上线前只标注其新增文档，复用旧 qrels 计算完整指标，适合快速迭代。
- 对于有大量召回重叠的候选系统（如不同 embedding、混合检索），池化方案能获得 65-80% 标注复用，等价于数倍评估成本节省，可工程化为自动化评估 pipeline。
- 采用 bootstrap 估计 qrels 不确定性，避免在小样本或 LLM 判断噪声下对模型排序做出错误结论；对比模型时报告置信区间而非单一数值。
- 在 Agent 检索工具选择或多路召回对比中，同样可复用增量池化思路，让 LLM 仅评判增量文档，支撑低成本、持续的多候选评估。